Red Neuronal de Capa Única

\[\begin{align*} f(X) &= \beta_0 + \sum_{k=1}^K \beta_k h_k(X) \\ &= \beta_0 + \sum_{k=1}^K \beta_k g\left(w_{k0} + \sum_{j=1}^p w_{kj} X_j\right). \end{align*}\]

Red Neuronal de Capa Única

• \(A_k = h_k(X) = g\left(w_{k0} + \sum_{j=1}^p w_{kj} X_j\right)\) se denominan activaciones en la capa oculta.
  
• \(g(z)\) se denomina función de activación. Las más populares son la función sigmoide y la rectificada lineal (ReLU), mostradas en la figura.
  
• Las funciones de activación en las capas ocultas suelen ser no lineales, de lo contrario el modelo colapsaría a un modelo lineal.
  
• Por lo tanto, las activaciones son como características derivadas: transformaciones no lineales de combinaciones lineales de las características.
  
• El modelo se ajusta minimizando \(\sum_{i=1}^n (y_i - f(x_i))^2\).

Ejemplo: Dígitos MNIST

• Dígitos escritos a mano, en escala de grises de tamaño \(28 \times 28\).
  
• \(60.000\) imágenes de entrenamiento, \(10.000\) imágenes de prueba.
• Las características son los 784 valores de píxeles en escala de grises \(\in (0, 255)\)
  
• Las etiquetas corresponden a las clases de dígitos del 0 al 9.
  

Ejemplo: Dígitos MNIST

Construimos una red neuronal de dos capas con:

• 256 unidades en la primera capa,
  
• 128 unidades en la segunda capa,
  
• 10 unidades en la capa de salida.
  
• Junto con los interceptos (sesgos), hay un total de 235,146 parámetros (pesos).

Ejemplo: Dígitos MNIST

Ejemplo: Dígitos MNIST

Detalles de la Capa de Salida

• Sea \(Z_m = \beta_{m0} + \sum_{\ell=1}^{K_2} \beta_{m\ell} A_{\ell}^{(2)}\), donde \(m = 0, 1, \dots, 9\) son 10 combinaciones lineales de activaciones en la segunda capa.

• La función de activación de salida codifica la función softmax:

\[ f_m(X) = \mathbb{P}(Y = m \mid X) = \frac{e^{Z_m}}{\sum_{\ell=0}^9 e^{Z_\ell}}. \]

• Ajustamos el modelo minimizando la verosimilitud negativa multinomial (o entropía cruzada):

\[ - \sum_{i=1}^n \sum_{m=0}^9 y_{im} \log(f_m(x_i)). \]

• \(y_{im}\) es 1 si la clase verdadera para la observación \(i\) es \(m\), de lo contrario es 0 — es decir, one-hot encoded.

¿Cómo funcionan las CNN?

• La Redes Neuronales Convolucionales construye una imagen de manera jerárquica.
• Los bordes y formas se reconocen y se combinan para formar estructuras más complejas, ensamblando finalmente la imagen objetivo.
  
• Esta construcción jerárquica se logra utilizando capas de convolución y capas de pooling.

Convolución

Imágen de entrada: \(\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \\ j & k & l \end{bmatrix}\)

Filtro de Convolución: \(\begin{bmatrix} \alpha & \beta \\ \gamma & \delta \end{bmatrix}\)

Imágen Convolucionada: \(\begin{bmatrix} a\alpha + b\beta + d\gamma + e\delta & b\alpha + c\beta + e\gamma + f\delta \\ d\alpha + e\beta + g\gamma + h\delta & e\alpha + f\beta + h\gamma + i\delta \\ g\alpha + h\beta + j\gamma + k\delta & h\alpha + i\beta + k\gamma + l\delta \end{bmatrix}.\)

Convolución

• El filtro es, en sí mismo, una imagen y representa una pequeña forma, borde, etc.
  
• Lo desplazamos sobre la imagen de entrada, evaluando coincidencias.
  
• La puntuación se realiza mediante productos punto.
• Si la subimagen de la imagen de entrada es similar al filtro, la puntuación será alta; de lo contrario, será baja.
  
• Los filtros se aprenden durante el entrenamiento.

Ejemplo de convolución

• La idea de la convolución con un filtro es encontrar patrones comunes que ocurren en diferentes partes de la imagen.
  
• Los dos filtros mostrados aquí resaltan franjas verticales y horizontales.
  
• El resultado de la convolución es un nuevo mapa de características .
  
• Dado que las imágenes tienen tres canales de color, el filtro también los tiene: un filtro por canal, y los productos punto se suman.
  
• Los pesos en los filtros son aprendidos por la red.

Los datos como secuencias

• Los documentos son secuencias de palabras, y sus posiciones relativas tienen significado.
  
• Series temporales, como datos climáticos o índices financieros.

Las RNNs (Redes Neuronales Recurrentes) construyen modelos que consideran la naturaleza secuencial de los datos y construyen una memoria del pasado.

• La característica para cada observación es una secuencia de vectores:
  \[ X = \{X_1, X_2, \dots, X_L\}. \]

• El objetivo \(Y\) a menudo es una variable o una clase.
  

• Sin embargo, \(Y\) también puede ser una secuencia, como el mismo documento en un idioma diferente.

Red Neuronal Recurrente Simple

• La capa oculta es una secuencia de vectores \(A_\ell\), que recibe como entrada \(X_\ell\) así como \(A_{\ell-1}\). \(A_\ell\) produce una salida \(O\ell\).

• Los mismos pesos \(W\), \(U\) y \(B\) se utilizan en cada paso de la secuencia (de ahí el término recurrente).
  

• La secuencia \(A_\ell\) representa un modelo en evolución para la respuesta, que se actualiza a medida que cada elemento \(X_\ell\) es procesado.